Ubuntu下搭建Scrapy环境遇到的问题&解决
QA
Q1.为什么选择Ubuntu环境
A:windows下的Scrapy实在是太难搭啦，转投Linux。
选择了Ubuntu12是因为Ubuntu14不是很兼容VMwareTools 为了图省事我直接用了12，另外发现shadowsocks勾选局域网链接后可以在Ubuntu虚拟机中设置代理直接穿透出来。
下面开始搭建环境
Ubuntu自带Python
$python

import xml
import OpenSSL
发现已经自带两个依赖

$sudo apt-get install python-dev

$sudo apt-get install libevent-dev

之后安装pip

$ sudo apt-get install python-pip

安装Scrapy

$ sudo pip install scrapy

发现报错

Could not find function xmlCheckVersion in library libxml2.

补装xml依赖

$sudo apt-get install libxml2-dev

$sudo apt-get install libxslt1-dev

再次sudo pip install scrapy

Error: command ‘gcc’ failed with exit status 1

对着报错思考了很久发现import xml ！=import lxml

$sudo apt-get install python-lxml

再次sudo pip install scrapy 成功

$scrapy version 显示版本

附上一个简单的python程序登录byr(scrapy无关)

import requests

url='http://bbs.byr.cn/user/ajax_login.json'

header={
       'User-Agent': 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)',
        'Host': 'bbs.byr.cn',
      ' X-Requested-With': 'XMLHttpRequest',
       }
form_data={
   'id':'your id',
    'passwd':'your pswd',
   'mode':'0',
   'CookieDate':'0',
}
s=requests.session()
response=s.post(url,data=form_data,headers=header)
print(response.text)